"""
saveAsTextFile() 方法用于将 RDD 的内容保存到一个文本文件中。每个元素将被写入文件中的一行。
应用场景包括数据导出、结果存储等。
"""
from pyspark import SparkConf, SparkContext
import os
os.environ['PYSPARK_PYTHON'] = "D:/dev/python/python310/python.exe"
os.environ['HADOOP_HOME'] = "D:/dev/hadoop-3.0.0"
conf = SparkConf().setMaster("local[*]").setAppName("saveAsTextFile")
# 修改默认分区数为1，方便查看输出结果
# conf.set("spark.default.parallelism", "1")
sc = SparkContext(conf=conf)
# 创建 RDD
rdd = sc.parallelize(["hello world", "hello spark", "hello scala"],numSlices=1)
# saveAsTextFile 方法
# saveAsTextFile 方法可以将 RDD 的内容保存到一个文本文件中
rdd.saveAsTextFile("textfile")
sc.stop()